Anne Neville sinh ra trong Lâu đài Warwick, là con gái thứ hai của Richard Neville, Bá tước thứ 16 xứ Warwick và Anne Beauchamp, Nữ bá tước xứ thứ 16 Warwick. Gia tộc mà Anne được sinh ra, chính là đại gia tộc nhà Neville, một trong 2 thế lực lớn nhất phương Bắc nước Anh khi ấy bên cạnh nhà Percy. Ông nội của bà, Richard Neville, Bá tước thứ 5 xứ Salisbury là anh trai của Cecily Neville, Công tước phu nhân xứ York, vợ của Richard Plantagenet, Công tước thứ 3 xứ York, người là mẹ của Edward IV của Anh, George Plantagenet, Công tước thứ nhất xứ Clarence và Richard III của Anh. Cha bà, Richard Neville, khi ấy là một trong những quý tộc giàu có và có thế lực nhất nước Anh, là đồng minh đáng kể của nhà York trong Chiến tranh Hoa Hồng. Do đó, Anne Neville và chồng tương lai Quốc vương Richard III có quan hệ họ hàng khá gần gũi, không chỉ là về họ hàng mà còn là về vấn đề liên minh chính trị khách quan.

Mẹ của Anne là bà Anne Beauchamp, con gái út của Richard Beauchamp, Bá tước thứ 13 xứ Warwick. Bà Beauchamp thừa kế tước vị "Bá tước xứ Warwick" sau cái chết lần lượt của cha mình, em trai Henry Beauchamp cùng người cháu Anne de Beauchamp. Richard Neville, sau khi cưới Beauchamp nghiễm nhiên kế thừa tước vị Bá tước Warwick cùng với vợ, đây là do luật thừa kế tài sản của vợ mình được gọi là 「Jure uxoris」, và hai vợ chồng cùng là "Bá tước thứ 16 và Nữ Bá tước thứ 16 của Warwick", mà bà Beauchamp không phải chỉ là "Bà Bá tước" hay "Bá tước phu nhân" như thông thường, thể hiện rõ sự sở hữu gia tài và san sẻ tước vị cho chồng của bà Beauchamp.

Phần lớn thời niên thiếu của mình, Anne Neville sinh sống tại Lâu đài Middleham ở thung lũng Wensleydale, một trong những tài sản thừa kế của cha bà. Tại đây, bà cùng người chị gái, Isabel Neville, gặp gỡ hai người con trai thứ của Công tước Richard Plantagenet xứ York; chính là George và Richard[3][4].